home *** CD-ROM | disk | FTP | other *** search
/ Download Now 8 / Download Now V8.iso / Program / InternetTools / ApacheWebServer1.3.6 / apache_1_3_6_win32.exe / _SETUP.1 / logresolve.pl < prev    next >
Encoding:
Perl Script  |  1999-01-01  |  8.9 KB  |  265 lines
  1. #!/usr/local/bin/perl
  2.  
  3. # ====================================================================
  4. # Copyright (c) 1995-1999 The Apache Group.  All rights reserved.
  5. #
  6. # Redistribution and use in source and binary forms, with or without
  7. # modification, are permitted provided that the following conditions
  8. # are met:
  9. #
  10. # 1. Redistributions of source code must retain the above copyright
  11. #    notice, this list of conditions and the following disclaimer. 
  12. #
  13. # 2. Redistributions in binary form must reproduce the above copyright
  14. #    notice, this list of conditions and the following disclaimer in
  15. #    the documentation and/or other materials provided with the
  16. #    distribution.
  17. #
  18. # 3. All advertising materials mentioning features or use of this
  19. #    software must display the following acknowledgment:
  20. #    "This product includes software developed by the Apache Group
  21. #    for use in the Apache HTTP server project (http://www.apache.org/)."
  22. #
  23. # 4. The names "Apache Server" and "Apache Group" must not be used to
  24. #    endorse or promote products derived from this software without
  25. #    prior written permission. For written permission, please contact
  26. #    apache@apache.org.
  27. #
  28. # 5. Products derived from this software may not be called "Apache"
  29. #    nor may "Apache" appear in their names without prior written
  30. #    permission of the Apache Group.
  31. #
  32. # 6. Redistributions of any form whatsoever must retain the following
  33. #    acknowledgment:
  34. #    "This product includes software developed by the Apache Group
  35. #    for use in the Apache HTTP server project (http://www.apache.org/)."
  36. #
  37. # THIS SOFTWARE IS PROVIDED BY THE APACHE GROUP ``AS IS'' AND ANY
  38. # EXPRESSED OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  39. # IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  40. # PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE APACHE GROUP OR
  41. # ITS CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  42. # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  43. # NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  44. # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION)
  45. # HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT,
  46. # STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  47. # ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
  48. # OF THE POSSIBILITY OF SUCH DAMAGE.
  49. # ====================================================================
  50. #
  51. # This software consists of voluntary contributions made by many
  52. # individuals on behalf of the Apache Group and was originally based
  53. # on public domain software written at the National Center for
  54. # Supercomputing Applications, University of Illinois, Urbana-Champaign.
  55. # For more information on the Apache Group and the Apache HTTP server
  56. # project, please see <http://www.apache.org/>.
  57.  
  58. # logresolve.pl
  59. #
  60. # v 1.2 by robh @ imdb.com
  61. # 
  62. # usage: logresolve.pl <infile >outfile
  63. #
  64. # input = Apache/NCSA/.. logfile with IP numbers at start of lines
  65. # output = same logfile with IP addresses resolved to hostnames where
  66. #  name lookups succeeded.
  67. #
  68. # this differs from the C based 'logresolve' in that this script
  69. # spawns a number ($CHILDREN) of subprocesses to resolve addresses
  70. # concurrently and sets a short timeout ($TIMEOUT) for each lookup in
  71. # order to keep things moving quickly.
  72. #
  73. # the parent process handles caching of IP->hostnames using a Perl hash
  74. # it also avoids sending the same IP to multiple child processes to be
  75. # resolved multiple times concurrently.
  76. #
  77. # Depending on the settings of $CHILDREN and $TIMEOUT you should see
  78. # significant reductions in the overall time taken to resolve your
  79. # logfiles. With $CHILDREN=40 and $TIMEOUT=5 I've seen 200,000 - 300,000
  80. # logfile lines processed per hour compared to ~45,000 per hour
  81. # with 'logresolve'.
  82. #
  83. # I haven't yet seen any noticable reduction in the percentage of IPs
  84. # that fail to get resolved. Your mileage will no doubt vary. 5s is long
  85. # enough to wait IMO.
  86. #
  87. # Known to work with FreeBSD 2.2
  88. # Known to have problems with Solaris
  89. #
  90. # 980417 - use 'sockaddr_un' for bind/connect to make the script work
  91. #  with linux. Fix from Luuk de Boer <luuk_de_boer@pi.net>
  92.  
  93. require 5.004;
  94.  
  95. $|=1;
  96.  
  97. use FileHandle;
  98. use Socket;
  99.  
  100. use strict;
  101. no strict 'refs';
  102.  
  103. use vars qw($PROTOCOL);
  104. $PROTOCOL = 0;
  105.  
  106. my $CHILDREN = 40;
  107. my $TIMEOUT  = 5;
  108.  
  109. my $filename;
  110. my %hash = ();
  111. my $parent = $$;
  112.  
  113. my @children = ();
  114. for (my $child = 1; $child <=$CHILDREN; $child++) {
  115.     my $f = fork();    
  116.     if (!$f) {
  117.         $filename = "./.socket.$parent.$child";
  118.         if (-e $filename) { unlink($filename) || warn "$filename .. $!\n";}
  119.         &child($child);
  120.         exit(0);
  121.     }
  122.     push(@children, $f);
  123. }
  124.  
  125. &parent;
  126. &cleanup;
  127.  
  128. ## remove all temporary files before shutting down
  129. sub cleanup {
  130.      # die kiddies, die
  131.     kill(15, @children);
  132.     for (my $child = 1; $child <=$CHILDREN; $child++) {
  133.         if (-e "./.socket.$parent.$child") {
  134.             unlink("./.socket.$parent.$child")
  135.                 || warn ".socket.$parent.$child $!";
  136.         }
  137.     }
  138. }
  139.     
  140. sub parent {
  141.     # Trap some possible signals to trigger temp file cleanup
  142.     $SIG{'KILL'} = $SIG{'INT'} = $SIG{'PIPE'} = \&cleanup;
  143.  
  144.     my %CHILDSOCK;
  145.     my $filename;
  146.  
  147.      ## fork child processes. Each child will create a socket connection
  148.      ## to this parent and use an unique temp filename to do so.
  149.     for (my $child = 1; $child <=$CHILDREN; $child++) {
  150.         $CHILDSOCK{$child}= FileHandle->new;
  151.  
  152.         if (!socket($CHILDSOCK{$child}, AF_UNIX, SOCK_STREAM, $PROTOCOL)) {
  153.             warn "parent socket to child failed $!";
  154.         }
  155.         $filename = "./.socket.$parent.$child";
  156.         my $response;
  157.         do {
  158.             $response = connect($CHILDSOCK{$child}, sockaddr_un($filename));
  159.             if ($response != 1) {
  160.                 sleep(1);
  161.             }                       
  162.         } while ($response != 1);
  163.         $CHILDSOCK{$child}->autoflush;
  164.     }
  165.     ## All child processes should now be ready or at worst warming up 
  166.  
  167.     my (@buffer, $child, $ip, $rest, $hostname, $response);
  168.      ## read the logfile lines from STDIN
  169.     while(<STDIN>) {
  170.         @buffer = ();    # empty the logfile line buffer array.
  171.         $child = 1;        # children are numbered 1..N, start with #1
  172.  
  173.         # while we have a child to talk to and data to give it..
  174.         do {
  175.             push(@buffer, $_);                    # buffer the line
  176.             ($ip, $rest) = split(/ /, $_, 2);    # separate IP form rest
  177.  
  178.             unless ($hash{$ip}) {                # resolve if unseen IP
  179.                 $CHILDSOCK{$child}->print("$ip\n"); # pass IP to next child
  180.                 $hash{$ip} = $ip;                # don't look it up again.
  181.                 $child++;
  182.             }
  183.         } while (($child < ($CHILDREN-1)) and ($_ = <STDIN>));
  184.  
  185.          ## now poll each child for a response
  186.         while (--$child > 0) { 
  187.             $response = $CHILDSOCK{$child}->getline;
  188.             chomp($response);
  189.              # child sends us back both the IP and HOSTNAME, no need for us
  190.              # to remember what child received any given IP, and no worries
  191.              # what order we talk to the children
  192.             ($ip, $hostname) = split(/\|/, $response, 2);
  193.             $hash{$ip} = $hostname;
  194.         }
  195.  
  196.          # resolve all the logfiles lines held in the log buffer array..
  197.         for (my $line = 0; $line <=$#buffer; $line++) {
  198.              # get next buffered line
  199.             ($ip, $rest) = split(/ /, $buffer[$line], 2);
  200.              # separate IP from rest and replace with cached hostname
  201.             printf STDOUT ("%s %s", $hash{$ip}, $rest);
  202.         }
  203.     }
  204. }
  205.  
  206. ########################################
  207.  
  208. sub child {
  209.      # arg = numeric ID - how the parent refers to me
  210.     my $me = shift;
  211.  
  212.      # add trap for alarm signals.
  213.     $SIG{'ALRM'} = sub { die "alarmed"; };
  214.  
  215.      # create a socket to communicate with parent
  216.     socket(INBOUND, AF_UNIX, SOCK_STREAM, $PROTOCOL)
  217.         || die "Error with Socket: !$\n";
  218.     $filename = "./.socket.$parent.$me";
  219.     bind(INBOUND, sockaddr_un($filename))
  220.         || die "Error Binding $filename: $!\n";
  221.     listen(INBOUND, 5) || die "Error Listening: $!\n";
  222.  
  223.     my ($ip, $send_back);
  224.     my $talk = FileHandle->new;
  225.  
  226.      # accept a connection from the parent process. We only ever have
  227.      # have one connection where we exchange 1 line of info with the
  228.      # parent.. 1 line in (IP address), 1 line out (IP + hostname).
  229.     accept($talk, INBOUND) || die "Error Accepting: $!\n";
  230.      # disable I/O buffering just in case
  231.     $talk->autoflush;
  232.      # while the parent keeps sending data, we keep responding..
  233.     while(($ip = $talk->getline)) {
  234.         chomp($ip);
  235.          # resolve the IP if time permits and send back what we found..
  236.         $send_back = sprintf("%s|%s", $ip, &nslookup($ip));
  237.         $talk->print($send_back."\n");
  238.     }
  239. }
  240.  
  241. # perform a time restricted hostname lookup.
  242. sub nslookup {
  243.      # get the IP as an arg
  244.     my $ip = shift;
  245.     my $hostname = undef;
  246.  
  247.      # do the hostname lookup inside an eval. The eval will use the
  248.      # already configured SIGnal handler and drop out of the {} block
  249.      # regardless of whether the alarm occured or not.
  250.     eval {
  251.         alarm($TIMEOUT);
  252.         $hostname = gethostbyaddr(gethostbyname($ip), AF_INET);
  253.         alarm(0);
  254.     };
  255.     if ($@ =~ /alarm/) {
  256.          # useful for debugging perhaps..
  257.         # print "alarming, isn't it? ($ip)";
  258.     }
  259.  
  260.      # return the hostname or the IP address itself if there is no hostname
  261.     $hostname ne "" ? $hostname : $ip;
  262. }
  263.  
  264.  
  265.